Gia nhập Đảng Cộng sản Việt Nam ngày 31 tháng 12 năm 1984.

1980 - 1989: Ủy viên Ban Thường vụ, Phó Bí thư Huyện đoàn Lý Nhân, tỉnh Hà Nam Ninh.

1989 - 1991: Ủy viên Ban Thường vụ Tỉnh đoàn, Trưởng ban Tổ chức Tỉnh đoàn Hà Nam Ninh.

1992-1995: Ủy viên Ban Chấp hành Đảng bộ tỉnh Nam Hà; Bí thư Tỉnh đoàn Nam Hà, Ủy viên Ban Chấp hành Trung ương Đoàn; đại biểu Hội đồng nhân dân tỉnh Nam Hà.

1996: Ủy viên Ban Thường vụ Tỉnh ủy Nam Hà, Trưởng ban Dân vận Tỉnh ủy kiêm Bí thư Tỉnh đoàn, Trưởng ban Văn hóa - Xã hội Hội đồng nhân dân tỉnh; Ủy viên Ban Thường vụ Trung ương Đoàn.

1997: Bộ Chính trị điều động về công tác tại Trung ương Đoàn; Bí thư Trung ương Đoàn kiêm Chủ tịch Hội đồng Đội Trung ương.

2002-2005: Bí thư Thường trực Ban Chấp hành Trung ương Đoàn Thanh niên Cộng sản Hồ Chí Minh.

2006-2007: Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa X, Bí thư Thứ nhất Trung ương Đoàn Thanh niên Cộng sản Hồ Chí Minh.

Tháng 7 năm 2006, ông bị kỉ luật với hình thức khiển trách và phân công công tác khác, vì đã vi phạm quy chế thi tuyển nghiên cứu sinh Học viện Hành chính Quốc gia.[5]

Tháng 12 năm 2006, ông được Bộ Chính trị chuyển về công tác tại Ban Cán sự Đảng Ngoài nước và giữ chức Bí thư, Trưởng ban. Ông vẫn tiếp tục là Ủy viên Trung ương Đảng.

Từ 2007 đến tháng 5 năm 2010, ông là Phó Trưởng ban Thường trực Ban Chỉ đạo Tây Bắc.

Tháng 5 năm 2010, Bộ Chính trị phân công, điều động và chỉ định làm Phó Bí thư Thường trực Tỉnh ủy Yên Bái.

Tháng 10 năm 2010, ông được bầu làm Bí thư Tỉnh ủy Yên Bái nhiệm kì 2010-2015.

Ngày 18 tháng 8 năm 2011, theo Quyết định số 224 - QĐNS/TW, Bộ Chính trị điều động, phân công ông Đào Ngọc Dung, Ủy viên Trung ương Đảng, Bí thư Tỉnh ủy Yên Bái thôi tham gia Ban Chấp hành Tỉnh ủy Yên Bái để tham gia Ban Chấp hành, Ban Thường vụ và giữ chức Bí thư Đảng bộ Khối các cơ quan Trung ương nhiệm kỳ 2011-2015.[6]

Ngày 9 tháng 4 năm 2016, tại kỳ họp thứ 11 Quốc hội Việt Nam khóa XIII được phê chuẩn làm Bộ trưởng Bộ Lao động, Thương binh và Xã hội Việt Nam.

Ngày 22 tháng 5 năm 2016, Ông đã trúng cử đại biểu quốc hội năm 2016 ở đơn vị bầu cử số 5, tỉnh Thanh Hóa (gồm có Quan Hóa, Quan Sơn, Mường Lát, Lang Chánh, Bá Thước, Ngọc Lặc, Thường Xuân, Cẩm Thủy) với tỉ lệ 88,24% số phiếu hợp lệ.

Ngày 28 tháng 7 năm 2016, tại kỳ họp thứ 1 Quốc hội Việt Nam khóa XIV được phê chuẩn làm Bộ trưởng Bộ Lao động, Thương binh và Xã hội Việt Nam với 60,73% phiếu đồng ý[7].